Pre-trained language models for programming languages have shown a powerful ability on processing many Software Engineering (SE) tasks, e.g., program synthesis, code completion, and code search. However, it remains to be seen what is behind their success. Recent studies have examined how pre-trained models can effectively learn syntax information based on Abstract Syntax Trees. In this paper, we figure out what role the self-attention mechanism plays in understanding code syntax and semantics based on AST and static analysis. We focus on a well-known representative code model, CodeBERT, and study how it can learn code syntax and semantics by the self-attention mechanism and Masked Language Modelling (MLM) at the token level. We propose a group of probing tasks to analyze CodeBERT. Based on AST and static analysis, we establish the relationships among the code tokens. First, Our results show that CodeBERT can acquire syntax and semantics knowledge through self-attention and MLM. Second, we demonstrate that the self-attention mechanism pays more attention to dependence-relationship tokens than to other tokens. Different attention heads play different roles in learning code semantics; we show that some of them are weak at encoding code semantics. Different layers have different competencies to represent different code properties. Deep CodeBERT layers can encode the semantic information that requires some complex inference in the code context. More importantly, we show that our analysis is helpful and leverage our conclusions to improve CodeBERT. We show an alternative approach for pre-training models, which makes fully use of the current pre-training strategy, i.e, MLM, to learn code syntax and semantics, instead of combining features from different code data formats, e.g., data-flow, running-time states, and program outputs.

Recent deep learning methods have achieved promising results in image shadow removal. However, their restored images still suffer from unsatisfactory boundary artifacts, due to the lack of degradation prior embedding and the deficiency in modeling capacity. Our work addresses these issues by proposing a unified diffusion framework that integrates both the image and degradation priors for highly effective shadow removal. In detail, we first propose a shadow degradation model, which inspires us to build a novel unrolling diffusion model, dubbed ShandowDiffusion. It remarkably improves the model's capacity in shadow removal via progressively refining the desired output with both degradation prior and diffusive generative prior, which by nature can serve as a new strong baseline for image restoration. Furthermore, ShadowDiffusion progressively refines the estimated shadow mask as an auxiliary task of the diffusion generator, which leads to more accurate and robust shadow-free image generation. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to validate our method's effectiveness. Compared to the state-of-the-art methods, our model achieves a significant improvement in terms of PSNR, increasing from 31.69dB to 34.73dB over SRD dataset.

策略梯度算法在强化学习中的融合取决于基础最佳控制问题的优化格局。通常可以通过分析线性二次控制的理论见解来获取这些算法。但是，大多数现有文献仅考虑静态全州或输出反馈策略（控制器）的优化格局。我们研究了线性二次调节（缩写为DLQR）的动态输出反馈政策更具挑战性的案例，该策略在实践中很普遍，但具有相当复杂的优化景观。我们首先显示DLQR成本如何随动态控制器的坐标转换而变化，然后为给定可观察的稳定控制器得出最佳转换。我们结果的核心是可观察到DLQR的固定点的唯一性，这是基于观察者的控制器的简洁形式，具有最佳的相似性转换。这些结果阐明了设计有效的算法，这些算法是针对部分观察到的信息的一般决策问题。

由于缺乏异常样品，因此仅具有正常样本的先验知识的异常检测才吸引更多的注意力。现有的基于CNN的像素重建方法遇到了两个问题。首先，重建源和目标是包含无法区分的语义信息的原始像素值。其次，CNN倾向于很好地重建正常样品和异常情况，使它们仍然很难区分。在本文中，我们提出异常检测变压器（ADTR）将变压器应用于重建预训练的特征。预训练的功能包含可区分的语义信息。同样，采用变压器限制以很好地重构异常，因此一旦重建失败，就可以轻松检测到异常。此外，我们提出了新的损失函数，使我们的方法与正常样本的情况以及具有图像级和像素级标记为异常的异常情况兼容。通过添加简单的合成或外部无关异常，可以进一步提高性能。广泛的实验是在包括MVTEC-AD和CIFAR-10在内的异常检测数据集上进行的。与所有基线相比，我们的方法取得了卓越的性能。

当使用深度学习技术对程序语言进行建模时，广泛采用了带有树或图形结构的神经网络，以捕获程序抽象语法树（AST）中的丰富结构信息。但是，计划中广泛存在长期/全球依赖性，大多数这些神经体系结构无法捕获这些依赖性。在本文中，我们提出了Tree-Transformer，这是一种新型的递归树结构神经网络，旨在克服上述局限性。树转化器利用两个多头注意单元来建模兄弟姐妹和父子节点对之间的依赖关系。此外，我们提出了一个双向传播策略，以允许节点信息向两个方向传递：沿树木的自下而上和自上而下。通过结合自下而上和自上而下的传播，树转化器可以同时学习全局上下文和有意义的节点特征。广泛的实验结果表明，我们的树转换器在具有树级和节点级别的预测任务中，在与程序相关的任务中优于现有基于树或基于图的神经网络，这表明Tree-Transformer在学习两个树级时都表现良好和节点级表示。

面对抗泡沫（FAS）和伪造探测在保护面部生物识别系统免受演示攻击（PAS）和恶性数字操作（例如，Deepfakes）中的生物识别系统中起着至关重要的作用。尽管大规模数据和强大的深层模型有希望的表现，但现有方法的概括问题仍然是一个空旷的问题。最近的大多数方法都集中在1）单峰视觉外观或生理学（即远程光摄影学（RPPG））线索；和2）用于FAS或面部伪造检测的分离特征表示。一方面，单峰外观和RPPG功能分别容易受到高保真的面孔3D面膜和视频重播攻击的影响，从而激发了我们设计可靠的多模式融合机制，用于广义面部攻击检​​测。另一方面，FAS和面部伪造探测任务（例如，定期的RPPG节奏和BONAFIDE的香草外观）都有丰富的共同特征，提供了可靠的证据来设计联合FAS和面部伪造探测系统，以多任务学习方式。在本文中，我们使用视觉外观和生理RPPG提示建立了第一个关节面欺骗和伪造的检测基准。为了增强RPPG的周期性歧视，我们使用两种面部时空时代的RPPG信号图及其连续小波转换为输入的两分支生理网络。为了减轻模态偏差并提高融合功效，我们在多模式融合之前对外观和RPPG特征进行了加权批次和层归一化。我们发现，可以通过对这两个任务的联合培训来改善单峰（外观或RPPG）和多模式（外观+RPPG）模型的概括能力。我们希望这种新的基准将促进FAS和DeepFake检测社区的未来研究。

现有的视频框架插值方法只能在给定的中间时间步骤中插值框架，例如1/2。在本文中，我们旨在探索一种更广泛的视频框架插值，该视频框架在任意时步。为此，我们考虑在元学习的帮助下以统一的方式处理不同的时间阶段。具体而言，我们开发了一个双元学习的帧插值框架，以通过上下文信息和光流的指导以及将时间步长为附带信息，将中间框架合成中间框架。首先，构建了一个内容感知的元学习流程模块，以提高基于输入帧的下采样版本的光流估计的准确性。其次，以精致的光流和时间步长为输入，运动吸引的元学习框架插值模块为在粗翘曲版本的特征图上使用的每个像素生成卷积内核，以生成输入的特征图上的每个像素生成预测帧的帧。广泛的定性和定量评估以及消融研究表明，通过以如此精心设计的方式在我们的框架中引入元学习，我们的方法不仅可以实现优于先进的框架插值方法，还可以实现优越的性能还拥有在任意时间步长以支持插值的扩展能力。

夜间图像不仅遭受弱光，而且遭受光线分布不均匀的影响。大多数现有的夜间可见性增强方法主要集中在增强弱光区域。这不可避免地会导致明亮区域的过度增强和饱和度，例如受光效应（眩光，泛光灯等）影响的区域。为了解决这个问题，我们需要抑制明亮区域的光效应，同时促进黑暗区域的强度。考虑到这个想法，我们引入了一种无监督的方法，该方法集成了层分解网络和光效应抑制网络。给定单夜图像作为输入，我们的分解网络学会了分解阴影，反射率和光效应层，并在无监督的特定层特定的先前损失的指导下。我们的光效应抑制网络进一步抑制了光效应，同时增强了黑暗区域的照明。该光效应抑制网络利用了估计的光效应层，作为专注于光效应区域的指导。为了恢复背景细节并减少幻觉/人工制品，我们提出了结构和高频一致性损失。我们对真实图像的定量和定性评估表明，我们的方法在抑制夜光效应和提高黑暗区域的强度方面优于最先进的方法。

摆脱拟合配对训练数据的基本限制，最近无监督的低光增强方法在调整图像的照明和对比度方面表现出色。但是，对于无监督的低光增强，由于缺乏对详细信号的监督而导致的剩余噪声抑制问题在很大程度上阻碍了这些方法在现实世界应用中的广泛部署。在本文中，我们提出了一种新型的自行车相互作用生成对抗网络（CIGAN），以实现无监督的低光图像增强，它不仅能够更好地在低/正常光图像之间更好地传输照明分布，还可以操纵两个域之间的详细信号，例如。 ，在环状增强/降解过程中抑制/合成逼真的噪声。特别是，提出的低光引导转换馈送馈送从增强gan（Egan）发电机的低光图像的特征到降解GAN（DGAN）的发生器。借助真正的弱光图像的信息，DGAN可以在低光图像中综合更逼真的不同照明和对比度。此外，DGAN中的特征随机扰动模块学会了增加特征随机性以产生各种特征分布，从而说服了合成的低光图像以包含逼真的噪声。广泛的实验既证明了所提出的方法的优越性，又证明了每个模块在CIGAN中的有效性。

这项工作研究了很少的对象计数的问题，该问题计算了查询图像中出现的示例对象的数量（即由一个或几个支持图像描述）。主要的挑战在于，目标对象可以密集地包装在查询图像中，从而使每个单一对象都很难识别。为了解决障碍，我们提出了一个新颖的学习块，配备了相似性比较模块和功能增强模块。具体来说，给定支持图像和查询图像，我们首先通过比较每个空间位置的投影特征来得出分数图。有关所有支持图像的得分图将共收集在一起，并在示例维度和空间维度上均标准化，从而产生可靠的相似性图。然后，我们通过使用开发的点相似性作为加权系数来增强使用支持功能的查询功能。这样的设计鼓励模型通过更多地关注类似于支持图像的区域来检查查询图像，从而导致不同对象之间的界限更加清晰。在各种基准和培训设置上进行了广泛的实验表明，我们通过足够大的边距超过了最先进的方法。例如，在最近的大规模FSC-147数据集中，我们通过将平均绝对误差从22.08提高到14.32（35％$ \ uparrow $）来超越最新方法。代码已在https://github.com/zhiyuanyou/safecount中发布。